package com.tedu;

import org.jsoup.select.Elements;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.Selectable;

import java.util.List;

/**
 * 页面解析
 */
public class PageProcessorMV  implements PageProcessor {

    Site site = Site.me().setRetryTimes(3).setSleepTime(100);


    public void process(Page page) {

        //使用正则表达式  对html进行解析    url：添加到site继续爬   内容：保持
        //http://lib.njtc.edu.cn/pagelist-6a580b31227449b1b37a303df6378932.html
        //把党建新闻的标题+  超链接------5分钟
//        page.getHtml().getDocument()?  通过html中的标签  解析
        //  http://www.scnjnews.com/news/[0-9]{4}-[0-9]{2}/[0-9]{2}/content_[0-9]{5}  正则表达式解析解析
        Selectable url = page.getUrl();
      //  System.out.println("当前解析的uml："+url);
        Html html = page.getHtml();

        Selectable regex = html.regex("http://www.scnjnews.com/news/[0-9]{4}-[0-9]{2}/[0-9]{2}/content_[0-9]{7}.htm");
        List<String> all = regex.all();
        //添加到爬虫
        page.addTargetRequests(all);
        //System.out.println(html);

        Elements content_page = html.getDocument().getElementsByClass("content page");


        //内容---数据持久化----把需要数据持久化
        page.putField("name",content_page.toString());

    }

    public Site getSite() {
        return site;
    }
}
